查看原文
其他

【GBASE案例】GBase 8a MPP Cluster助力气象局国省雷达数据共享

GBASE数据库 2022-07-03

GBASE南大通用自主研发的GBase 8a MPP Cluster是大数据时代成熟的分析型MPP数据库,最新GBase 8a MPP Cluster V9版本已在气象、电信、金融等多个行业部署及应用。


项目背景



 
根据《气象雷达发展专项规划(2017-2020年)》及《气象雷达发展专项规划(2017-2020年)实施方案》的要求,在国省构建高效的分布式实时历史一体化数据存储管理系统,满足海量数据的存取和分析时效要求。本项目是雷达数据共享平台建设的重要组成部分,可以有效推进国省气象雷达数据共享和气象业务应用信息化、集约化进程。
 
项目的目标是在国家中心和31个省级节点,通过使用成熟的、性价比高的分布式分析型数据库,存储长时间序列历史数据,支撑气候监测预测、决策服务等业务系统对数据服务和分析的需求。
 
气象大数据平台实现了数据全集的统一管理和服务,提供除数值预报以外各类气象数据产品加工、挖掘分析的平台计算服务;直接支撑应用,助力“云+端”业务模式的全面发展,构成集约化、标准化、开放发展的气象新业态。

需求分析



 
国家气象信息中心集群的部署
针对现有甲方提供的现有12台服务器进行GBase 8a MPP Cluster集群的部署安装,后续会根据甲方要求进行服务器的扩容;
针对现有的硬件资源情况,采用了3管理节点+10数据节点的方式进行部署,其中一个节点的管理节点和数据节点复用。
 
省级气象信息中心集群的部署
另外在各区域中心部署8套(每省8个节点),省中心部署23套(每省6个节点),共32套,共计219个节点。




解决方案



 
GBase 8a MPP Cluster产品作为历史分析库,将现有的气象观测数据,地理信息数据,行业社会数据等基础数据信息通过通过kafka实时同步到GBase 8a数据库中,提供了长时间序列历史数据的存储与多维度的分析计算。
 
提供统一的数据库访问接口,实现异构数据库引擎的透明访问,方便数据统一管理和应用的迁移和开发。
 

价值体现



 

数据全集的统一管理和服务:基于GBase UP实现异构数据库的透明访问、统一数据服务接口、统一数据管理;实现各类气象数据全集的管理,进行数值预报以外的产品加工、挖掘分析的平台计算服务。

 

实时数据同步:气象数据进入到事务型数据库提供业务实时查询访问,通过kafka将事务库中的增量数据准实时的同步到GBase 8a分析型数据库。利用GBase 8a的数据存储、服务、分析的能力,发挥数据应用效益,为天气预报,防灾减灾等业务提供保障。

 

高性能分析:利用GBase 8a集群的高性能分布式并行计算能力,有效提升气象业务的复杂分析场景性能。


更多GBase 8a MPP Cluster内容请扫描下方二维码进入社区:


GBase 8a 社区

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存